Predictable Failure in Multi-Hop Retrieval: Score-Distributional Confidence Scoring and Abstention
多跳检索可预测失效：分数分布置信度评分与弃权
🧭 RAG 多跳检索 · 置信度评分与弃权 ★ 深度解读
提出基于检索分数分布特征的轻量级置信度评分RCS，实现多跳RAG的校准弃权，降低高置信错误率
📌 工作参考价值（4 点）
- 利用检索分数分布特征（top-k最大分数、margin、lift、top3均值、熵）构建零额外LLM推理的置信度评分RCS，可在电商搜索/推荐召回后实时判断结果可信度（<1ms），对低置信query触发精排兜底或人工介入，避免高置信错误。
- 定义CWAR并采用弃权策略：在覆盖率-准确率曲线上根据业务目标选择阈值，可在规定错误率下最大化自动回答覆盖率，适合电商导购Agent中控制高成本错误。
- 特征互补性结论：不同领域的数据集中主导置信度特征不同（如query长度 vs hop-1分数集中度），提示我们不要依赖单一检索分数阈值，应使用多特征逻辑回归融合，增强跨场景稳健性。
- 跨域迁移性：该置信度模型跨数据集迁移仅损失0.5pp AUC，说明这些结构性特征领域无关，电商多品类场景可通过少量标注数据训练得到通用置信度模型，降低标注成本。